Thời kỳ phong kiến, xã Phú Xuyên có tên là Vị Xuyên, thuộc huyện Văn Lãng, phủ Thái Nguyên.

Năm Khải Định thứ 6 (1922), huyện Văn Lãng sáp nhập vào huyện Đại Từ.

Sau năm 1945, xã Phú Xuyên và xã Yên Lãng hợp thành một xã lấy tên là xã Cao Vân thuộc huyện Đại Từ.

Đầu năm 1960, xã Cao Vân tách ra thành hai xã như cũ, riêng xã Vị Xuyên đổi tên thành xã Phú Xuyên như hiện nay.

Đến năm 2019, xã Phú Xuyên được chia thành 18 xóm, gồm 14 xóm đánh số từ 1 tới 14 và 4 xóm: Tân Lập, Chính Phú 1, Chính Phú 2, Chính Phú 3.

Ngày 23 tháng 7 năm 2019, sáp nhập hai xóm 2 và 12 thành xóm Khuân Ngàn, sáp nhập hai xóm 7 và 14 thành xóm Quyên.[3]